떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
52.14.186.192
설정
다크 모드로 전환
로그인
접속자 폭증으로 서버 상태가 원활하지 않습니다 |
소유권 이전과 관련한 공지
대규모 언어 모델
(r2 문단 편집)
닫기
RAW 편집
미리보기
=== 사전 학습(Pre-training)과 파인튜닝(Fine-tuning) === * '''사전 학습''': 대규모의 레이블 없는 텍스트 데이터(코퍼스)를 이용해 언어 자체의 일반적인 패턴, 문법, 의미 등을 학습한다. 이 단계에서 모델은 광범위한 지식을 습득한다. 주로 자기 지도 학습(Self-supervised learning) 방식[* 다음 단어 예측, 마스크된 단어 예측 같은거]을 사용한다. * '''파인튜닝''': 사전 학습된 모델을 특정 작업[* 번역, 질의응답, 감정 분석 등]에 맞는 소규모의 레이블된 데이터로 추가 학습하여 해당 작업의 성능을 극대화한다. 최근에는 인간의 피드백을 통해 모델을 정렬하는 RLHF(Reinforcement Learning from Human Feedback) 기법도 널리 사용된다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
으로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(52.14.186.192) 주소 전체가 영구히 기록됩니다.
저장
사용자
52.14.186.192
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]